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(57) Abstract 



In order to generate an improved image signal in motion assessment, 
an exact pixel determination of a moving vector is initially carried out. 
followed by a two-step interpolation filtering at exact subpixel resolution. The 
interpolation coefficients are chosen with the purpose of reducing aliasing. A 
larger number of adjacent pixels are used in comparison with conventional 
interpolation methods. The quality of the prediction signal for moving images 
can be thus improved, thereby enhancing coding efficiency. 
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Zur Erzeugung eines verbesserten Bildsignals bei der Bewe- 
gungsschatzung erfolgt zuerst eine pelgenaue Bestimmimg eines 
Bewegungsvektors und anschliefiend eine zweistufige Interpolationsfilterung 
auf Sub-Pelgenauigkeit. Die Interpolationskoeffizienten werden hinsichtlich 
einer Aliasing-Reduzierung gewShlt. Zur Interpolation werden mehr 

Nachbarbildpunkte herangczogcn als bei iiblichcn Interpolationsverfahren. Die CJualitat eines Pradiktionssignab ftlr Bewegungsbilder lafit 
sich vcrbessem und damit die Codierungseffizienz steigem. 
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10 INTERPOLATIONSFILTERUNGSVERFAHREN FtR SUB-PELGENAUIGKETT-BEWEGUNGSSCHATZUNG 



15 Stand der Technik 

Die Erfindung geht aus von einem Verfahren zur Erzeugimg 
eines verbesserten Bildsignals bei der Bewegungsschatzung 
von Bildsequenzen, insbesondere eines Pradiktionssignals fur 
20 Bewegtbilder mit bewegungskompensierender Pradiktion, wobei 

fxir Bildblocke Bewegungsvektoren gebildet warden, die fiir 
jeden Bildblock eines aktuellen Bildes die Position des zur 
Pradiktion benutzten Bildblockes gegenuber einem zeitlich 
davorliegenden Referenzbild angeben. 

25 

Aus der EP 0 558 922 B2 ist ein Verfahren zur Verbesserung 
der Bewegungsschatzung in Bildsequenzen in 

Halbpelgenauigkeit nach dem Full-Search-Verf ahren bekannt . 
Dort wird in einem ersten Verf ahrensschritt der Suchbereich 
3 0 und in einem zweiten Verf ahrensschritt der Match-Block 

gefiltert unter Zuhilfenahme eines zusatzlichen digitalen 
Filters, daS eine Rasterverschiebung des Bildpunkt rasters um 
M pel ermoglicht. Mit dieser MalSnahme ist eine Verfalschung 
des Bewegungsvektorf eldes auszuschlieSen . 

3 5 
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Beim „MPEG-4 Video Verification Model Version 1 .0'\ Bristol, 
April 1997, MPEG 97/N1642 in ISO/IEC JTCl/SC 29/WGll ist ein 
Encoder und Decoder zur objektbasierten Codierung von 
Bewegtbildf olgen spezif iziert . Dabei werden nicht mehr 
5 rechteckige Bilder fester GroSe codiert und zum Empf anger 

iibertragen, sondern sogenannte VIDEO OBJECTS (VO) , welche 
beliebige Form und GroSe aufweisen durfen. Die Abbildung 
eines solchen VO in der Kamerabildebene zu einera bestimmten 
Zeitpunkt wird als VIDEO OBJECTS PLANE (VOP) bezeichnet. 
10 Somit ist die Beziehiang zwischen VO und VOP aquivalent zu 

der Beziehung zwischen Bildfolge und Bild im Falle der 
Ubertragiing rechteckiger Bilder fester GrolSe . 

Die bewegungskompensierende Pradiktion im 
15 Verif ikationsmodell wird mit Hilfe sogenannter blockweiser 

Bewegungsvektoren durchgef uhrt , die fur jeden Block der 
GroJSe 8x8 bzw, 16 x 16 Bildpunkte des aktuellen Bildes die 
Position des zur Pradiktion benutzten Blockes in einem 
bereits ubertragenen Referenzbild angeben . Die Auflosung der 
20 Bewegungsvektoren ist dabei auf einen h.alben Bildpunkt 

beschrankt, wobei Bildpunkte zwischen dem Abtastraster (half 
pixel position) durch eine bilineare Interpolationsf ilterung 
aus den Bildpunkten auf dem Abtastraster (integer pixel 
position) erzeugt werden (Figur 1).+ gibt hierbei die 
25 Ganzzahl-Pixel-Position imd O die Halb-Pixel-Position an. 

Die interpolierten Werte a, b, c und d in Halb-Pixel- 
Position ergeben sich durch folgende Beziehungen: 
a = A, b = (A + B)//2, c = (A + C)//2, 

d= (A+B+C+ D)//4, wobei // eine gerundete Ganzzahl- 
30 Division kennzeichnet . 

Vorteile der Erfindung 



35 



Mit den MaEnahmen der Erfindung lafit sich die Qualitat des 
Pradiktionssignals xind somit die Kodierungsef f izienz 
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verbessem. Dabei wird zur Erzeugung von Bildpunkten 
zwischen dem Bildpxinkt -Abt as t raster eine grofiere drtliche 
Nachbarschaf t berucksichtigt , als bei der bilinearen 
Interpolation. Die erf indiangsgemalSe aliasing- reduzierende 
5 interpolationsf ilterung fillirt zu einer erhohten Auflosung 

des Bewegiingsvektors und damit zu einem Pradiktionsgewinn 
und einer erhohten Codierungsef f izienz . Bei der Erfindung 
konnen die FIR-Filterkoef f izienten den zu codierenden 
Signalen angepaEt und fur jedes Video-Object getrennt 
10 ubertragen werden, was eine weitere Eff izienz erhohung fur 

die Codierung ermoglicht sowie die Flexibilitat des 
Verf ahrens erhoht . 

Im Gegensatz zur Losung. gemaS der EP 0 558 922 Bl miissen 
15 keine zusatzlichen Polyphasenfi Iters trukturen fur 

Zwischenpositionen mit pel -Bildpunkt auflosung in 
horizontaler lond vertikaler Richtung entworfen werden. 

Mit den Mafinahmen der Erfindung ist es moglich, dafi bei 
20 gleichbleibender Datenrate die Bildf olgef requenz eines MPEG- 

1- Coders von 25 Hz auf 50 Hz verdoppelt werden kann. Bei 
einem MPEG2 -Coder kann die Datenrate bei gleichbleibender 
Bildqualitat urn bis zu 3 0% reduziert werden. 

25 Zeichnungen 

Anhand von Zeichnungen werden nun Ausfuhrungbeispiele der 
Erfindung nSher erl^utert . Es zeigen: 

3 0 Figur 2 ein Interpol at ions schema fur Bildpunkte zwischen dem 

Bildp\inkt-Abt as t raster, 

Figur 3 die Struktur eines FIR-Filters zur Interpolation, 
Figur 4 eine weitere Interpolation mit noch hoherer 
Auflosung . 

35 
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Beschreibung von Ausfiihrungsbei spiel en 

Beim Verfahren nach der Erfindung werden fur Bildblocke 
Bewegiingsvektoren gebildet, die fur jeden Bildblock eines 
5 aktuellen Hildas die Position des zur Pradiktion benutzten 

Bildblockes gegenuber einem zeitlich davorliegenden 
Referenzbild angeben. 

Die Bestimmung der Bewegungsvektoren fur die Pradiktion 
10 erfolgt in drei auf einanderf olgenden Schritten: 

In einem ersten Suchschritt wird ein Bewegungsvektor mit 
Pelgenauigkeit nach einem herkdmmlichen Verfahren, z.B. nach 
der Full -Search-Block-Matching-Methode, fur jeden Bildblock 
bestiramt. Hierbei wird das Minimum des Fehlerkriteriums fur 
15 mogliche Bewegungspositionen ermittelt und jener Vektor, der 

die Bewegung des Bildblockes am besten beschreibt, 
ausgewahlt (EP 0 368 151 Bl) , 

In einem zweiten Suchschritt, der wiederum auf einer solchen 

2 0 Minimumsuche fur das Fehlerkriterium basiert, wird ausgehend 

von dem im ersten Schritt ermittelten Bewegungsvektor mit 
Pelgenauigkeit durch eine aliasing- reduzierende 
Interpolationsf ilterung mittels eines digitalen 
symmetrischen FIR (finite impulse response) -Filters ein 
25 verbesserter Bewegungsvektor auf Subpelgenauigkeit 

ermittelt. Die Aufl5sung wird hierbei hoher gewahlt als im 
ersten Suchschritt, vorzugsweise wird eine Auflosiing von 
einem halben Bildpunkt bezogen auf das Bildpunkt raster 
gewahlt , Figur 2 zeigt das Interpolationsmuster fur die 

3 0 Bildpunkte b, c und d zwischen dem Bildpxinkt raster , die sich 

aus den Nachbarbildpunkten A, B, C, D, E, F, G, H auf dem 
Bildpunktraster ergeben. + gibt die Ganzzahl-Pixelposition 
an, o die Halbpixelposition . Es gilt: 
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b = (C01x(A_i + A^i) + C02X (A.2 + ^+2^ + C03x (A_3 + A+3 ) + 
C04x (A_4 + A+4))/256 

Ci = (C01x(Ai + E±) + C02x(Bi + F^) + C03x (Ci+ G±) + 
G04x(Di + Hi) ) /256 
5 d = (C01x(c_i + C+i) + C02x(c_2 + c+2) + C03x (c_3 + c+3) + 

C04x(c_44. C+4) ) /256 

Die Struktur des verwendeten FIR-Interpolationsf ilters ist 
aus Figur 3 ersichtlich. Es weist nach jeder 

10 Bildpunktposition 5p einen Abzweig zu einem Koef f izienten- 

bewerter 1, 2, 3 usw. auf und eine Summationseinrichtung 10 
am Ausgang. Wie aus obigen Beziehungen ersichtlich ist, wird 
zur Erzeugung von Bildpunkten zwischen dem Abtast raster eine 
grofiere ortliche Nachbarschaf t berucksichtigt , als bei der 

15 bilinearen interpolation nach dem Stand der Technik. Die 

Interpolationsf ilterkoef f izienten C02 , C03 , C04 werden dabei 
so bestimmt, daS die Interpolationsf ehlerleistung minimal 
wird. Die Koef f izienten konnen direkt mit dem bekannten 
Schatzverf ahren des kleinsten, mittleren quadrat ischen 

2 0 Fehlers bestimmt werden. Aus der Minimierung der 

Interpolationsf ehlerleistung erhalt man ein lineares 
Gleichungssystem, dessen Koef f izienten aus dem 
Orthogonalitatsprinzip abgeleitet werden konnen. Ein derart 
optimierter Satz von FIR-Filterkoeff izienten ist durch die 

25 Koeffizienten COl = 161/256, C02 = -43/256, C03 = 23/256, 

C04 = -8/256 gegeben. 

Im dritten Suchschritt wird ausgehend von dem auf M 
Pelgenauigkeit bestimmten Bewegungsvektor durch eine weitere 

30 Interpolationsf ilterung eine lokale Suche unter 

Zugrundelegung der acht Nachbarbildpunkte mit einer 
Aufl5sung, die noch weiter erhoht ist, vorzugsweise auf M 
Bildpunkt, durchgef uhrt . Es wird wie zuvor der 
Bewegungsvektor ausgewahlt, der die geringste 

35 Pradiktionsf ehlerleistung liefert. 
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Das Interpolationsrauster liierzu zeigt Figur 4. Die 
ganzzahligen Bildpxmkt-Positionen sind mit X gekennzeichnet, 
die Halb-Pixel-Bildpunktpositionen mit o und die Viertel- 
Pixel-Bildpunktpositionen mit - . O markiert die beste 
Kompensation mit 1/2 -Bildpiinkt und + die Viertelbildpunkt- 
Suchpos i t i on . 

Interpol iert wird bezuglich des Bildpunkt rasters mit der 
Auflosung von einem halben Bildpunkt aus dem z we it en 
Suchschritt mit den FIR-Filterkoef f izienten COl' = 1/2, 
C02' = O, C03' = O, C04' = O. 

Die gleiche zuvor vorgestellte Interpolationstechnik wird 
fur die bewegungskompensierende Pradiktion verwendet . 

Falls die Verarbeitung innerhalb eines Coders mit einem 
reduzierten Bildformat durchgefuhrt wird ( SI F- Format 
innerhalb eines MPEGl-Coders oder Q-CIF in einem H.263- 
Coder) , zur Anzeige aber das ursprungliche Eingangs format 
verwendet wird, z.B. CCIR 601 [1] bei MPEG-1 Oder GIF bei 
H.263, mu£ als Nachverarbeitung eine ortliche 

Interpolationsf ilterung durchgefuhrt werden. Auch fur diesen 
Zweck kann die beschriebene aliasing-kompensierende- 
Interpolationsf ilterung verwendet werden. 

Um die aliasing-kompensierende Interpolation mit 1/4 Pel 
Auflosung zu aktivieren, konnen in einen Bildubertragungs- 
Bitstrom Aktivierungsbits eingefiigt werden. 

Fiir die Pradiktion von Video-Ob jekten konnen die 
Filterkoeff izienten COl bis C04 und COl' bis C04' fiir jedes 
der Video-Ob jekte VO getrennt aufbereitet werden und in deh 
Bildubertragungs-Bitstrom zu Beginn der Ubertragung des 
jeweiligen Video-Objekts eingefiigt werden. 
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Zur Codiening eines Bewegungsvektors kann der Wertebereich 
der zu codierenden Bewegiongsvektor-Dif f erenzen an die 
erhohte Auflosung angepafit warden. 
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Ansp ruche 

1. Verfahren zur Erzeugimg eines verbesserten Bildsignals 
bei der Bewegungsschat-zung von Bildsequenzen, insbesondere 
eines Pradiktionssignals fur Bewegtbilder mit 
bewegungskompensie render Pradiktion, wobei fur Bildblocke 
Bewegungsvektoren gebildet werden, die fiir jeden Bildblock 
eines aktuellen Bildes die Position des zur Pradiktion 
benutzten Bildblockes gegenuber einem zeitlich 
davorliegenden Referenzbild angeben, mit folgenden 
Schritten: 

- In einem ersten Suchschritt wird ein Bewegungsvektor auf 
Pelgenauigkeit bestimmt, 

in einem zweiten Suciischritt wird ausgehend von dem 
Bewegungsvektor mit Pelgenauigkeit durch eine aliasing- 
reduzierende Interpolationsf ilterung mittels eines digitalen 
Filters ein verbesserter Bewegungsvektor auf 
Subpelgenauigkeit ermittelt, wobei die Auflosung hoher 
gewahlt ist, als es der Auflosxing des Bildpunktrasters im 
ersten Suchschritt entspricht und wobei zur Interpolation 
mehr Nachbarbildpunkte herangezogen werden als bei einer 
bilinearen Interpolation, 

- in einem dritten Suchschritt wird ausgehend von dem auf 
Subpelgenauigkeit bestimmten Bewegungsvektor durch eine 
weitere Interpolationsf ilterung mittels des digitalen 
Filters ein weiter verbesserter Bewegungsvektor ermittelt. 



« 
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wobei die Auflosung gegenuber dem zweiten Suchschritt 
nochmals erhoht wird und die Interpolation basierend auf dem 
Bildpunktraster mit der Auflosung itn zweiten Suchschritt 
vorgenommen wird. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet , daS 
zur Interpolationsf ilterung beira zweiten Suchschritt ein 
FIR-Filter verwendet wird mit den Filterkoef f izienten COl = 
161/256, C02 - -43/256, C03 = 23/256, C04 = -8/256. 

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, 
dafi zur Interpolationsf ilterung beim dritten Suchschritt ein 
FIR-Filter verwendet wird, mit den FIR-Filterkoeff izienten 
COl' - 1/2, C02' = 0, C03' = O, C04 ' = O. 



4. Verfahren nach einem der Anspruche 1 bis 3, dadurch 
gekennzeichnet, daS fur die Pradiktion von Video-Obj ekten 
(VO) die Filterkoef f izienten des digitalen Filters/FIR- 
Filters fiir jedes Video-Objekt getrennt aufbereitet werden 

20 und in einen Ubertragungsbitstrom zu Beginn der Ubertragung 

des jeweiligen Objektes eingefugt werden. 

5. Verfahren nach einem der Anspruche 1 bis 4, dadurch 
gekennzeichnet, dafi zur Codierung eines Bewegungsvektors , 

25 insbesondere fur eine Ubertragung der Wertebereich der zu 

codierende Bewegungsvektor-Dif f erenzen an eine erhohte 
Auflosung angepafit wird. 
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